Trương Lệ Hoa xuất thân từ một gia đình binh gia, nhưng suy sút bần hàn ở Dương Châu, Giang Nam. Để kiếm kế sinh nhai, cha bà và anh trai đan chiếu kiếm sống.

Tuy là con nhà nông, phải phụ cha mẹ làm những công việc đồng áng nặng nhọc nhưng Lệ Hoa đang ở độ tuổi đôi mươi có nét đẹp khác lạ: "Da trắng như tuyết, mắt đen láy, thân hình toát lên vẻ thanh tú", những vẻ đẹp theo bà từ lúc mới sinh nên tên Lệ Hoa cũng do cha mẹ đặt từ các đặc điểm trên. Trương Lệ Hoa có mái tóc dài bảy thước, bóng đến soi gương được, lông mày như vẽ. Ngoài ra, bà còn có trí nhớ hơn người và sự nhạy bén nhận biết người tài, có thể nói là "Nhân gian có lời nào hay chuyện gì, luôn luôn biết trước"[1].

Năm Quang Đại thứ 2 (568), Trương Lệ Hoa năm 10 tuổi được tuyển nhập cung, sung vào làm Thị nữ của Cung lương đệ (龚良娣), thiếp thất của Thái tử bấy giờ là Trần Thúc Bảo. Thái tử khi đó trông thấy Lệ Hoa, lập tức cảm mến liền lâm hạnh.

Năm Thái Kiến thứ 7 (575), Trương Lệ Hoa sinh hạ người con trai thứ tư của Thái tử, đặt tên là Trần Thâm (陈深)[2]. Không lâu sau, Lệ Hoa lại sinh hạ người con thứ 8 là Trần Trang (陈庄).